查看原文
其他

马亮:哥伦比亚大学排名数据造假,大学排名有意义吗?

公共治理 2022-11-22

The following article is from 风声OPINION Author 马亮


文|马亮
中国人民大学国家发展与战略研究院研究员
公共管理学院教授



美国常青藤名校哥伦比亚大学的排名数据造假问题引发社会热议,也使人们对大学排名的可靠性产生怀疑。9月9日,哥伦比亚大学教务长玛丽·鲍伊斯(Mary Boyce)发布公告,承认部分关键数据的确存在问题,并宣布发布两个通用数据集(Common Data Set),提升大学数据的透明度。

近些年来,哥大在“美国新闻与世界报道”(U.S. News & World Report)发布的美国大学排名中表现优异:从1988年的第18名一路飙升,而今年达到了史无前例的第二名。但与此同时,哥大排名的飙升,也引发了争议和质疑。

今年2月,哥大数学系教授迈克尔·萨迪斯(Michael Thaddeus)发布文章,质疑该校提供给大学排名机构“美国新闻与世界报道”的数据存在造假嫌疑,特别是在平均班级规模和师资博士学位占比这两项指标上弄虚作假,使哥大在排名上表现突出。6月30日,哥大宣布会对数据造假问题进行彻底调查。因为无法在规定时间完成数据报告,哥大没有参加今年的“美国新闻与世界报道”大学排名。


哥伦比亚大学存在数据造假吗?

哥大一直致力于通过“小班+名师”的互动式研讨教学模式来提升本科生的教育体验,因此班级规模和师资质量对哥大来说至关重要。哥大在这份公告中承认,数学教授迈克尔·萨迪斯此前质疑的两项指标——班级规模和师资学历——依靠的是过时或错误的方法。

在班级规模指标上,哥大报告的数据存在错误,与排名机构要求的不一致,这导致哥大高估了人数少于20人的班级数量,低估了人数在20-29人的班级数量。在最终学位方面,哥大承认此前的计算方法依据学校聘任各科教师的要求,而这同通用数据集对某些学科的要求不一致,从而导致该指标被高估了。

| 哥伦比亚大学文理学院图书馆

通用数据集是以非营利组织College Board、教育咨询企业Peterson’s以及“美国新闻与世界报道”为代表的高等教育机构和出版社联合发起的一项数据标准倡议,旨在提高高等教育数据的质量和准确性,减少数据提供机构的报送负担。通用数据集按照美国教育部对高等教育机构的调查要求,明确了各项指标的一系列标准和定义,而各类出版社对大学的调查则从中各取所需。

除了哥大,其他常青藤大学都加入了通用数据集倡议,确保大学关键数据的透明性。为此,哥大调整了当前和未来提交数据的测算方法,严格按照通用数据集要求进行报告。校方强调,“美国新闻与世界报道”需要大学提交成百上千的数据点,而通用数据集的要求复杂并需要专门解释。哥大竭尽所能按照自己的理解提供准确完备的数据,并通过了一家咨询公司(Ankura Consulting Group)的审查。

哥大认为数据偏差有一定的客观性,因为该校包括三个本科生学院,其中通识教育学院接受非全日制学生,三个学院也存在一定交叉,可能导致数据重复收集问题。校方坦陈,无论数据不准确的程度如何或原因为何,都有悖于哥大秉持的卓越标准,对此前报告出现的缺陷表示遗憾,并承诺今后做得更好。

哥大也指出,除了这两项受质疑的指标,校方还对数据收集和报告的其他方面进行了全面审查。但是,哥大为了自身目的而收集的信息,可能同排名机构的不一致,而新冠疫情使数据的连续性和可比性受到冲击。校方还指出,哥大教育的声望建立在历史、教师、学生、教育和研究等各个方面百年积淀的基础之上,许多方面无法通过基于公分母的通用指标来衡量。

从哥大校方发布的公告来看,此前受到质疑的相关指标,确实存在难以掩饰的瑕疵;而其背后究竟是主观故意还是操作不当,自然尚有争议。哥大坚称数据报送的要求复杂,自身数据系统和排名要求不一致,所以才导致数据瑕疵。但是,绝大多数大学都遵守排名机构的标准和要求报送数据,哥大是此前唯一没有加入通用数据集的常青藤高校。更为重要的是,哥大出现的数据瑕疵,都是朝着有利于自身排名的方向偏倚。结合迈克尔·萨迪斯教授的分析,我们有理由认为这种数据瑕疵很难说是无心为之的不知者无罪。

考虑到大学排名提升带来的一系列收益,哥大数据瑕疵背后的利益驱动也昭然若现。退而言之,如果大学相关部门连最起码的数据标准都搞不清楚,并且长期都是如此这般操作,那么大学的学术水准和管理水平也令人不敢苟同。哥大为了挽回大学声誉而希望到此为止,但相关调查、澄清和问责不应就此结束。


大学排名还可信吗?

哥大排名丑闻,并非孤案或个例。近些年来,仅“美国新闻与世界报道”就发生多起大学数据造假事件。排名造假,让越来越多的人重新审视大学排名,并对大学排名的可靠性和可信度产生质疑。

同现代大学的悠久历史相比,大学排名只是晚近才出现的社会现象。大学排名应运而生,同高等教育普及和商业化不无关系。

当学生可以用脚投票来选择大学,而他们对大学还一知半解时,大学排名提供了其所需要的宝贵信息。但是,当大学排名越来越影响学生的选择、教师的去留和大学经费的多寡时,象牙塔中的大学也坐不住了,甚至围着大学排名的“指挥棒”办学。

毫无疑问,“简单粗暴”的大学排名往往对大学以偏概全,但高度浓缩的排序信息的确为学生和雇主提供了绝佳的参考指针。

当排名成为一门利润诱人的生意时,越来越多的大学排名涌现出来,而激烈竞争也催生大学排名的优胜劣汰。目前,人们主要关注《泰晤士报》、QS、“美国新闻与世界报道”和中国软科等少数主流世界大学排名,而它们对大学排名市场份额的竞争还远未结束。

任何大学排名都有这样那样的缺陷,世界上也不存在完美无瑕的大学排名,更不用讲一些出于商业目的或被操纵的大学排名了。就像不应把孩子连同洗澡水一起倒掉,我们不应唯排名,但也不应完全否弃排名。

特别是主流大学排名背后的底层逻辑日益趋同,都在关注教学、科研、社会服务和国际化等方面,使用的指标和数据来源也大同小异。这些主流大学排名之间的关联度或相关度极高,意味着多数大学的名次相对稳定和可靠,极少有大学会在不同排行榜上的名次相差甚远。

对于学生和家长来说,不应迷信某个所谓的权威大学排名,而应多方比较和综合考虑,并关注与自身需求最相关的具体指标。比如,国际生可以多关注大学的国际化水平,而研究生则应更多关注科研指标。考虑到大学排名自身的评估误差,不应对名次高低斤斤计较,而应更关注排名或位次的总体态势。比如,两所大学的排名如果仅相差几名,那么它们之间的优劣就完全可以忽略不计。


大学排名向何处去?

大学的历史积淀、教学质量、研究绩效和社会影响都是难以量化的维度,但大学排名却用一堆量化、肤浅和易受操纵的指标来衡量它们。当大学排名同大学收到的捐赠、教师取得的薪资、校友获得的声望等挂钩时,就必然会导致大学管理层的铤而走险,乃至师生合谋弄虚作假。

在《指标陷阱:过度量化如何威胁当今的商业、社会和生活》一书中,杰瑞·穆勒枚举各行各业普遍存在的量化排名及其导致的无穷后患。如何给大学排名降温,让大学排名回归正常,避免大学被排名牵着鼻子走,是哥大排名造假事件引发我们思考的深层次问题。

当前大学排名对许多关乎学生体验的因素缺乏必要关注,导致大学排名和学生体验的不一致乃至相去甚远。比如,因为研究生扩招而导致住宿条件恶化,很多学生入校后才获知宿舍拥挤,但为时已晚。再如,不同高校在疫情防控等方面的管理开放性和服务友好性参差不齐,而大学排名并没有及时更新并将其考虑在内。

这些方面的缺失,既是大学排名应该弥补的短板,也孕育着新的大学排名市场机遇。同大学综合排名相比,独立特色的专项排名是未来发展趋势之一。比如,《金钱》(Money)杂志根据教育质量、可负担性和毕业生结果来对大学排名,更看重大学教育是否物超所值,这对于需要助学贷款的贫困学生而言尤其值得借鉴。

| 哥伦比亚大学商学院的尤金·朗(Eugene M. Lang)创业中心

大学排名用一把尺子对所有大学“一刀切”,可能导致大学之间的千校一面,使很多大学的独特性丧失殆尽。对于大学而言,如何保持自身的办学特色和战略定力,挺立于世界大学之林,是考验大学管理层的关键所在。

与此同时,大学也要加强同排名机构的沟通,提出优化排名的合理化建议。当排名无孔不入、不可避免且影响深远时,大学几无退却的可能,积极参与和引导规范是更为可取的做法。比如,欧洲科技类大学联盟CESAER就专门致函相关排名机构,对其排名方法论提出质 疑和优化建议,为其会员高校争取权益。

有鉴于大学排名的重要性,政府、媒体和学术机构应对排名机构进行必要的审查、监督和问责,避免排名机构挥舞大学排名的大棒,滥用或误用其所掌控的权力。这意味着要有“评估的评估”和“排名的排名”等第三方评估,对大学排名的可靠性和可信度进行独立测评,并推动大学排名的规范化运行。

哥大数据丑闻对大学排名敲响了警钟,但不应因此而质疑大学排名。存在即合理,长期存在即绝对合理。

排名本身无罪,但神化、滥用和操纵排名则罪责难逃。和大学排名保持距离,参考而不唯排名,是我们对大学排名应有的态度和立场。


来源:风声OPINION(点击“阅读原文”查看原文)原文
时间:2022年09月14日
扫码关注更多
2022.09.15

马亮:“拆栏透绿”,让北京的公园活起来了

消息速递|马亮接受南方都市报采访,谈过度防疫层层加码问题

消息速递|马亮接受中国教育电视台采访,谈基层社区青年人才问题

消息速递|马亮暑期调研南通生态环境治理

消息速递|马亮暑期调研南通市市场监督管理局


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存